Sau thành công trên, Charles quyết định chuyển sang nghề dạy học cho người khiếm thính, đồng thời phát triển ngôn ngữ riêng cho họ.

Ông không hy vọng làm giàu cho mình bằng cách dạy học cho trẻ khiếm thính nhà thượng lưu, giàu có, mà lại chú trọng dạy cho trẻ em thuộc tất cả các tầng lớp xã hội. Dần dần, ông tiếp nhận ngày càng nhiều học sinh hơn. Năm 1755, ông thành lập trường học riêng cho người khiếm thính ở Paris, và hoàn toàn tài trợ cho trường này. Trong quá trình giảng dạy, ông đã phải khắc phục rất nhiều khó khăn, nhất là "phiên dịch" các âm và từ bằng tiếp Pháp thành kí hiệu.

Hệ thống "ngôn ngữ" của ông đã phát triển thành Ngôn ngữ ký hiệu của Pháp. Ngay sau đó, ngôn ngữ và phương pháp của Charles Epee lan rộng khắp nước Pháp. Đức Giám mục Bordeaux đã nhờ ông dạy một cậu bé ở Bordeaux và sau này rất thành đạt.

Nhiều người khác đã theo gương ông, chẳng hạn như Abbe Roch-Ambroise Sicard đã thành lập trường khiếm thính thứ hai ở Bordeaux vào khoảng năm 1786. Còn nhiều người khác đã đến Paris để học tập phương pháp của Epee rồi truyền bá khắp châu Âu.[4]